ChatGPT在今天(2023/3/14)推出新一代模型GPT-4,距離上一代GPT-3.5模型才事隔四個月,原本專家預估明年才會release,沒想到提前近一年,實在違反科技界延後上市的慣例,真的跟的很累,其他大廠Google、Meta應該也是追的很喘。
OpenAI共同創辦人Join Greg Brockman錄製一段『GPT-4 Developer Livestream』,說明 GPT-4 幾個特點,以下分享一點觀看心得。
GPT-3.5模型可接受4096個token,現在GPT-4模型已擴大為32,768個token,100個token約為75個單字,也就是說提示(Prompt)可以高達25,000個單字,相當於50頁的文章,這有何用呢? Join Greg Brockman做了一個展示,輸入整篇『標準扣除額』的規章,再簡短說明一個家庭的狀況,ChatGPT就自規章中找出適用的費率,並進一步計算應繳的所得稅額,直接取代稅務員的工作。截圖如下:
圖一. 稅務計算, 圖片來源:『GPT-4 Developer Livestream』
為什麼GPT-4這麼厲害? 可以從模型參數個數的比較可以看出來,GPT-4是GPT-3的570倍。
圖二. 各版本的GPT模型比較
註:GPT-4模型參數個數在最新官方的『GPT-4 Technical Report』並未證實,此資訊來自之前的多篇文章。
有興趣的讀者可參閱相關文章:
Join Greg Brockman另外做一個展示,指定ChatGPT進行文章摘要(Text Summarization),並要求只能以一句話回答,且全部單字均以g開頭,接著,每一個回答都繼續以g開頭,如下圖。
圖三. 連續兩句回答的全部單字均以g開頭
這有何用呢? 他針對計算稅務的家庭寫一首押韻的詩,直接取代詩人的頭路。截圖如下:
圖四. 寫詩
再回頭觀看官方介紹,還有許多有趣的展示:
整體而言,Live demo 的下方評論都是正面的,看起來後勢看好。
目前GPT-4只有ChatGPT Plus訂閱帳戶可以使用,而OpenAI API用戶只能排隊登記,AI局勢演變越來越快,各行各業的知識工作者(Knowledge worker)都應該開始關注AI發展,免得工作被AI幹掉了。
ChatGPT企業實踐指南 | 技術透析與整合應用影音課程,2023/5/20直播課程。
ChatGPT 完整解析:API 實測與企業應用實戰書籍,2023/5/20上市。
深度學習PyTorch入門到實戰應用影音課程。
其他書籍:
Scikit-learn 詳解與企業應用。
開發者傳授 PyTorch 秘笈
深度學習 -- 最佳入門邁向 AI 專題實戰。
請問 GPT-4 參數量的資料來源是哪裡? 在官方的論文中並沒有揭露 GPT-4 實際的參數量,而且 GPT-4 也分成 8K 跟 32K 兩個版本,這兩種模型的參數量應該也不同
專家應該是從模型結構推算,可參考 What is GPT-4 (and When?),不過GPT-4 Is Coming Soon. Here’s What We Know About It認為OpenAI透過超參數調校,實際模型可能沒那麼大,想對的,強調data, algorithms, parameterization, or alignment的改善。不過,這算不算是真正的GPT-4模型就見仁見智了,好比YOLOv6算不算是YOLO系列,可自行判斷。
8K/32K是指prompt/output的最大tokens數量限制,GPT-3是4096。
感謝寶貴意見。
我認為在官方公開真實參數數量之前,我們只能把這些資訊視為猜測。而這兩篇文章的發表日期都早於 GPT-4,甚至在 ChatGPT 面世之前,且模型的能力並不一定完全來自於參數量。這與是否為真正的 GPT-4 並無直接關聯,而是涉及事實正確性的問題。若是基於推測的資料,我們應該加註說明,以避免可能的誤解。
OK,已在圖二加註。
已經買來試用了,生成速度比3.5慢一點點,但精度和記憶力都很有感的大幅提升
之前才發文問說能不能提升gpt的記憶力,沒想到幾天後八倍記憶力的4.0就出來了XD
而且似乎有優化過,輸入"繼續"後會接著輸出程式碼,3.5的時候會先道歉才輸出,而且輸出有時候會偏差很多,可能是忘記之前的內容導致的。
以及4.0似乎能查看先前的對話紀錄,隔一天後再發"繼續"時,gpt能接著回答,不過有一點偏差、怪怪的感覺,推測是查看先前的對話紀錄時讀取到的是gpt自己的回答,gpt用回答推測我的問題導致的。
不過昨天買的時候限制100條訊息/4小時,今天早上一看變成50條訊息/4小時,不知道是不是問太多openAI撐不住了,縮水一半有點可惜
讚,感謝分享。